Vùng bình nguyên Hà Bắc là quê hương của người vượn Bắc Kinh, một nhóm người đứng thẳng sinh sống tại khu vực từ khoảng 200.000 đến 700.000 năm trước. Các phát hiện khảo cổ về thời đại đồ đá mới đã được tìm thấy trong di chỉ Bắc Phúc Địa (北福地遗址) ở huyện Dịch có niên đại từ 7000 TCN đến 8000 TCN.[4]

Trong thời Xuân Thu, Hà Bắc chủ yếu nằm dưới quyền cai trị của hai nước lớn là nước Yên ở phía bắc và nước Tấn ở phía nam. Đến năm 414 TCN, một nhóm người Bắc Địch đã tiến vào vùng bình nguyên Hoa Bắc và thành lập nước Trung Sơn ở trung bộ Hà Bắc. Sang thời Chiến Quốc, nước Tấn bị phân chia, và phần lớn lãnh thổ của nó tại Hà Bắc thuộc về nước Triệu.

Nhà Tần thống nhất Trung Quốc vào năm 221 TCN. Thời Nhà Hán cai trị, khu vực Ha Bắc thuộc hai châu: U châu (幽州) ở bắc bộ và Ký châu (冀州) ở nam bộ. Vào cuối thời Hán, hầu hết khu vực Hà Bắc nắm dưới quyền kiểm soát của quân phiệt Công Tôn Toản ở phía bắc và Viên Thiệu xa về phía nam; Viên Thiệu đã giành chiến thắng trong cuộc chiến giữa hai bên, song ngay sau đó ông ta lại thất bại trước kình địch Tào Tháo trong trận Quan Độ năm 200. Sang thời Tam Quốc, Hà Bắc nằm trong cương vực của Tào Ngụy do hậu duệ của Tào Tháo lập nên.

Sau khi các dân tộc du mục phương Bắc xâm nhập Trung Hoa, tiêu diệt Tây Tấn, nối tiếp là các thời đại hỗn loạn Ngũ Hồ thập lục quốc và Nam-Bắc triều. Hà Bắc nằm sâu trong miền Bắc Trung Quốc và ở ngay biên giới phía bắc, đã qua tay nhiều chế độ: Hậu Triệu, Tiền Yên, Tiền Tần, và Hậu Yên. Bắc Ngụy đã tái thống nhất Trung Quốc vào năm 440, song nó đã bị chia đôi vào năm 534, Hà Bắc thuộc Đông Ngụy và Bắc Tề sau này, hai triều đại này định đô ở Nghiệp thành, gần Lâm Chương của Hà Bắc ngày nay.

Nhà Tùy đã thống nhất Trung Quốc vào năm 589. Kế tiếp nhà Tuỳ là Nhà Đường, và dưới triều đại này, tên gọi "Hà Bắc đạo" với ý chỉ vùng đất phía bắc Hoàng Hà đã được đặt chính thức lần đầu tiên. An Lộc Sơn từng nhậm chức Phạm Dương tiết độ sứ (cai quản khu vực Bảo Định của Hà Bắc và Bắc Kinh hiện nay), những năm cuối Thiên Bảo, An Lộc Sơn đã khởi binh phản Đường từ nơi này. Trong giai đoạn đầu của thời kỳ Ngũ Đại Thập Quốc, Hà Bắc bị phân chia giữa một vài chế độ như Yên hay Triệu, song cuối cùng đã thống nhất dưới quyền cai quản của Lý Tồn Úc- người sáng lập nên triều Hậu Đường. Triều đại kế tiếp Hậu Đường là Hậu Tấn, năm 937, Hậu Tấn Cao Tổ đã nhượng phần lớn bắc bộ Hà Bắc ngày nay cho triều Liêu của người Khiết Đan, vùng đất này được gọi là Yên Vân thập lục châu, việc cắt nhượng này trở thành một nguyên nhân chính khiến khả năng phòng thủ của Trung Nguyên suy yếu trước người Khiết Đan trong thế kỷ sau đó, vì nó nằm trong Vạn Lý Trường Thành.

Trong thời Bắc Tống (960–1127), 16 châu nhượng cho Liêu trước đây tiếp tục là một khu vực tranh chấp nóng bỏng giữa Tống và Liêu. Triều Kim của người Nữ Chân đã lật đổ triều Liêu vào năm 1125. Năm 1127, triều Tống đã phải nhượng toàn bộ miền Bắc Trung Quốc, bao gồm nam bộ Hà Bắc, cho triều Kim. Thời Kim, Hà Bắc phân thuộc Hà Bắc Đông lộ, Hà Bắc Tây lộ, Trung Đô phủ lộ.

Triều Nguyên của người Mông Cổ sau khi tiêu diệt Kim và Nam Tống đã chia toàn quốc thành các đẳng xứ hành trung thư tỉnh, riêng khu vực Hà Bắc thuộc Trung thư tỉnh do triều đình Trung ương Nguyên ở Đại Đô trực tiếp quản lý. Triều Minh sau khi thay thế triều Nguyên và dời đô từ Nam Kinh đến Bắc Kinh đã định khu vực Hà Bắc là "Bắc Trực Lệ", nằm dưới quyền cai quản trực tiếp của triều đình Trung ương Minh. Đến khi triều Thanh của người Mãn đoạt lấy quyền lực vào năm 1644, họ bãi bỏ Nam Trực Lệ (ở khu vực quanh Nam Kinh), và Hà Bắc được gọi là "Trực Lệ". Dưới thời Thanh, ranh giới phía bắc của Trực Lệ trải dài sâu vào khu vực nay thuộc Nội Mông.

Triều Thanh sụp đổ vào năm 1912 và được Trung Hoa Dân Quốc thay thế. Trong vòng một vài năm, Trung Quốc đã rơi vào nội chiến, với các quân phiệt khu vực tranh giành quyền lực. Do Trực Lệ rất gần thủ đô Bắc Kinh, nó là nơi diễn ra nhiều trận chiến thường xuyên, bao gồm chiến tranh Trực-Hoàn năm 1920, chiến tranh Trực-Phụng lần thứ nhất năm 1922 và chiến tranh Trực-Phụng lần thứ hai vào năm 1924. Đến khi chính phủ Quốc dân tiến hành Bắc phạt thành công, chấm dứt nạn quân phiệt, thủ đô được chuyển từ Bắc Kinh đến Nam Kinh. Do vậy, tên gọi của tỉnh đã được đổi thành Hà Bắc để phản ánh thực tế.

Sau khi Cộng hòa Nhân dân Trung Hoa được thành lập, Hà Bắc đã có một số thay đổi về ranh giới: khu vực quanh Thừa Đức- nguyên là một phần của tỉnh Nhiệt Hà, và khu vực quanh Trương Gia Khẩu- nguyên là một phần của tỉnh Sát Cáp Nhĩ, đã được hợp nhất vào Hà Bắc, ranh giới phía bắc của tỉnh vì thế cũng vượt sang phía bắc Trường Thành. Tỉnh lị cũng được chuyển từ Bảo Định đến Thạch Gia Trang, và cũng từng chuyển đến Thiên Tân trong một thời gian ngắn.

Ngày 28 tháng 7 năm 1976, đã xảy ra động đất Đường Sơn 1976 khiến ít nhất 242.769 người chết[5] và khoảng 164.000 người bị thương rất nặng.[6]